# requests可以发送网络请求
import requests
from bs4 import BeautifulSoup
# 要抓取的网址
url = 'https://blog.qingke.me/channel/4'
# 使用requests.get方法抓取网页，参数是网址，返回值是response对象
response = requests.get(url)
#创建BeautifulSoup对象：第一个参数要解析的HTML，第二个参数是指定解析格式
soup = BeautifulSoup(response.text, 'html.parser')
#找到所有class属性为content的li标签，并循环处理。使用find_all找出所有符合条件的。
#必须指定class为content，否则会找出HTML中其他的li标签。
for li in soup.find_all('li', {"class": "content"}):
    #在li中找到a标签，读取它的文本
    title = li.a.get_text()
    #在li中找到所有的class属性为item-text的div标签，获得它的文本
    #这里不能使用li.div的方式，这种方式会默认找到第一个div，而当前li中有多个div
    #用find方法可以指定条件，精确找到对应的div。find和find_all的区别是find只返回第一个符合条件的。
    intro = li.find('div', {"class": "item-text"}).get_text()
    print(title)
    print(intro)